树结构分支策略优化 TSBPO：交互式语言智能体训练
🧭 交互式语言智能体策略优化
University of Electronic Science and Technology of China
TSBPO 用树结构采样与更新统一解决交互式语言智能体训练的采样、延迟信用分配和多 token 损失聚合
📌 工作参考价值（4 点）
- 将 rollout 构建为物理树，并用 likelihood-fitted Root/Branch allocator 在固定预算下优先展开高风险分支：这个思路可迁移到电商导购 Agent 的模拟训练，减少无效交互采样，把探索预算集中在信息增益大的状态。
- 信用分配不用全局奖励做蒙特卡洛，而是比较同父兄弟片段和同任务/观测状态的相对优势：适合多轮推荐对话中延迟转化信号，能被归因到具体话术或动作轮次，减少奖励噪声。
- 多 token 动作聚合采用完整 response 内 token surrogate 求和并按 active turns 归一化，避免直接按 response 长度平均导致的梯度消失：生成式推荐中的商品标题/文案策略梯度可直接复用这一项。
- 固定 checkpoint + 多次随机 episode 取平均成功率作为评估，比单次最优模型更可靠，适合上线前回归评测 Agent 稳定性。
KL正则化策略优化：面向异步LLM Agent的单Rollout免Critic更新
🧭 LLM agent 强化学习策略优化
Princeton University
KLPO将KL正则锚定在采样器，实现每prompt单rollout、无critic的LLM agent策略优化
📌 工作参考价值（4 点）
- 在异步在线 RL（如导购 Agent、客服 Agent、广告文案优化）中，当采样器与训练器策略不一致时，避免 importance ratio clipping，改用 KLPO 的 sampler 锚定 + 最小二乘拟合，可减少 off-policy 偏差与实现复杂度。
- 每 prompt 单 rollout 且 critic-free，只依赖 terminal return，适合长轨迹/工具调用场景，省去 GRPO 成组采样成本，也省去 value 网络与 learned normalizer。
- 若业务已有 SPPO/GPO/REBEL/BPO 类策略优化，可参照 KLPO 统一视角进行替换或校准；top-K / binary KL 近似的精确 gap 公式可用于低成本估计 KL 项时的偏差权衡。
- 需注意论文为理论分析，未在具体推荐/电商数据上验证，实际落地前应先在小规模 agent 任务上验证稳定性与收益。
弱到强泛化的 On-Policy 反向蒸馏方法
🧭 弱到强泛化蒸馏训练方法
KAIST AI · Microsoft · University of Toronto · Mila · Université de Montréal
用 On-Policy Reverse Distillation 放大教师策略偏移分量，实现弱到强泛化且不施加教师容量上限
📌 工作参考价值（3 点）
- 模型迭代中利用旧模型知识：电商推荐/搜索排序模型升级（如从精排小模型到 LLM-based ranker）时，旧模型可作为弱教师，用 OPRD 思路在 on-policy rollouts 上计算教师策略偏移，加速新模型训练且避免继承旧模型容量上限，减少全量 RL 成本。
- 多域/多业务模型融合：广告、推荐、搜索多场景有各自模型，可作为多教师进行蒸馏，OPRD 的多教师扩展可能比直接加权蒸馏更高效；结合 verifier（如业务指标奖励模型）过滤教师更新方向，只放大与 verifier 一致的教师指导，防止负迁移。
- Agent 策略训练：在 LLM Agent 或生成式推荐策略优化中，实施 on-policy 蒸馏：用学生自我生成 rollout 评估教师策略位移，仅对 verifier 支持的方向放大梯度，保持策略优化不动点，可避免教师过度约束导致模式坍缩。
答案验证的多教师自蒸馏：多域LLM能力整合
🧭 多教师蒸馏 · 答案验证 · 多域LLM整合 ★ 深度解读
National University of Defense Technology · Zhejiang University · Intelligent Game and Decision Lab
MT-SDPO用答案验证按样本选择正确教师，结合自锚定与特权蒸馏，将多域教师整合为单一LLM策略，提升最弱域并缩小域间差距
📌 工作参考价值（4 点）
- 多域/多任务LLM post-training时，不要按领域标签路由教师；对有可验证答案的任务（如选品打分、参数判断、query改写），用程序化校验器按样本筛选正确教师，再聚合所有正确反馈，可提升最弱域并缩小域间差距。
- Self-anchor 思路：先用学生自己生成且验证正确的 rollout 作为同组错误 rollout 的 privileged context，减少外部教师查询成本；只有学生失败时才查询外部教师，能明显降低训练开销。
- 蒸馏 teacher feedback 时引入词法/规则 sanitizer，过滤掉泄露正确答案或参考选项的反馈，防止模型只学会背答案；电商推荐解释、搜索词生成的 teacher feedback 同样需要这种防泄漏机制。
- 工程实现：离线先缓存每个样本的 eligible teacher set，训练时不必重复回答；推理只保留 student，丢弃教师池、verifier 和 EMA 副本，利于部署。负结果显示：若初始化已经均衡，在线蒸馏收益有限，应先评估最弱域 headroom 再决定是否投入在线阶段。
CAST：用于训练可靠长程工具调用智能体的批判感知监督框架
🧭 工具调用 Agent 可靠性训练 ★ 深度解读
Arizona State University · Cisco Research
将稀疏任务结果转化为动作级批判监督，训练小型 critic 与 policy，使 4B/8B 模型在重复运行可靠性上超过大模型
📌 工作参考价值（4 点）
- 在电商智能客服、订单退款等高危长程工具调用场景，可借鉴 CAST 的「离线标注 + 训练轻量 critic + 在线验证」模式：用多智能体框架从历史轨迹中生成动作级对错标签和理由，训练一个 4B/8B 的小 critic 替代 GPT-4 等大模型做实时动作验证，大幅降低 token 与延迟，同时提升校准度（误报率从 46.8% 降到 13.6%）。
- 构建训练数据时，利用 privileged information（如真实动作轨迹）让标注更可靠，但 critic 和 policy 在训练与推理时只接触 step-local context，这种不对称设计值得迁移到业务 guardrail 中：离线有更多信息可用，在线判断只能基于部分观测。
- 用 critic 验证后的成功轨迹（critique-enriched successful trajectories）对 policy 做 SFT，可以显著降低 policy 对反馈的抵抗率（约下降一半），让模型在推理时更愿意根据验证信号修正动作，从而提升重复运行一致性（pass^4）。
- 实验表明，经 CAST 训练的小模型在 pass^4 上超过 Qwen3-32B 和 GPT-OSS-120B，说明在可靠性优先的在线服务中，可以考虑用专门训练的 4B/8B 模型替代大模型，节省成本同时保证稳定性。
自我参照在线策略自蒸馏：将 Rényi 散度引入 OPSD 稳定训练
🧭 On-policy self-distillation · Rényi divergence ★ 深度解读
Imperial College London · Peking University · University of Science and Technology of China · Shanghai University of Finance and Economics · Nanyang Technological University
通过参考锚定与 Rényi 投影解耦在线自蒸馏中的目标位置与投影几何，显著提升训练稳定性与多任务性能
📌 工作参考价值（4 点）
- 在 LLM 推理训练（如 GRPO/SDPO）中替代 KL 散度：当使用环境反馈或验证信号进行策略优化时，将目标构造为自我教师与参考策略的几何插值，并用 Rényi 散度（可调阶数 ρ）替换前向/反向 KL，能稳定策略熵、避免模式塌缩，尤其适用于需要输出多样性的推荐文案生成、搜索词改写等任务。
- 参控对反馈信息的依赖程度：超参数 α 控制目标中自我教师（基于反馈）与参考策略的比例，业务中可据此调节模型对用户点击/转化信号的信任度，避免在噪声反馈下过拟合。
- 冻结初始策略作为参考锚点：将预训练初始策略冻结作为参考，保证训练后模型不严重偏离原有能力，适合在线上推理链路中逐步部署，降低上线风险。
- Rényi 投影的密度比温度控制：ρ 参数可看作对教师-学生概率比的幂次调制，能在训练初期压制极高或极低比值的梯度影响，相当于一种自适应梯度裁剪，有助于在不稳定反馈环境下稳定训练。
SERPO：面向开放式测试时强化学习的自演化评分标准策略优化
🧭 测试时强化学习 · 评分标准自演化
Huazhong University of Science and Technology · University of Science and Technology of China · Alibaba Group
提出自演化评分标准闭环，替代答案投票，实现开放式文本生成下的测试时强化学习，无需外部奖励
📌 工作参考价值（4 点）
- 自演化评分标准（G‑N‑B 响应进化 + 评分标准进化）可在无外部奖励的条件下构建自我评估系统，适用于电商文案生成、搜索词推荐等开放式场景，自动产生质量评分并迭代提升生成质量。
- 测试时自我进化闭环（采样→构建评分标准→评分→更新策略）可部署为线上模型的持续微调组件，例如用于推荐系统中的 query 改写或商品描述优化，全程无需人工标注。
- 概率化评分标准（将判定 token 的似然转化为奖励）提供了一种轻量、可解释的 reward 建模范式，可直接迁移到 Agent 决策链的自我改进，降低对昂贵奖励模型的依赖。
- 跨基准迁移进化结果表明该方法对不同领域分布有良好泛化性，可启发多任务推荐模型在无监督下自适应新品类或新场景。
基于心理学推理与角色感知策略优化的通用角色扮演智能体
🧭 心理学引导推理与角色感知强化学习
Zhejiang University · Tencent Youtu Lab
提出心理学引导的CoT与基于互信息的策略优化，抑制奖励黑客，提升角色保真度。
📌 工作参考价值（4 点）
- 对话推理结构可复用：Psy-CoT 将回复前思考分解为交互感知、心理共情与逻辑构建三步，电商虚拟导购、客服机器人可借鉴该链式推理，生成更贴近用户心理、更具说服力的对话。
- 互信息梯度加权抑制奖励黑客：RAPO 用 profile–token 互信息不对称缩放梯度，放大角色相关 token 的正优势、衰减负优势，该技巧可迁移到任意 LLM 对齐任务（如推荐解释生成、广告文案优化），防止模型学得空洞通用回复而冲高奖励。
- 训练不稳定时的干预思路：当发现 LLM 奖励模型给出相同梯度信号导致性能退化，可引入类似 RAPO 的 token 级重要性加权，无需改变奖励模型，仅调整策略梯度，工程成本低。
- 多尺度模型验证：实验在多种模型规模上均超越 GRPO，证明该策略优化方法对基座能力不敏感，适合在推荐/对话系统实际部署中逐步升级基座模型。
GraphPO：基于图的策略优化用于推理模型
🧭 图结构策略优化 · 推理效率提升
Gaoling School of Artificial Intelligence, Renmin University of China · Ant Group
将推理路径建模为有向无环图，合并语义等价状态共享后缀，减少冗余探索并提升 RLVR 效率
📌 工作参考价值（4 点）
- 多步推理任务中的冗余剪枝：在对话式搜索、商品推荐 query 改写等链式推理场景，可将推理步骤表示为有向无环图，当不同中间状态语义等价时（如“想买运动鞋”和“需要跑步装备”），合并为同一节点共享后续路径，减少重复计算和 token 消耗。
- Agent 搜索/交互的策略优化：在基于 RL 的 Agent 决策（如多轮商品搜索、广告竞价策略）中，用图结构代替树结构，对相似交互路径进行等价类合并，使探索预算聚焦到多样性分支，加速策略收敛。
- 过程奖励信号的精细化：借鉴 GraphPO 对节点入边赋效率优势、出边赋正确性优势的设计，可以为中间步骤提供更稳定的局部奖励，替代传统稀疏结果奖励，适用于需要过程监督的生成式推荐模型训练。
- 降低优势估计方差：理论及实验表明跨分支合并能降低优势估计方差，在推荐强化学习中同样可对相似用户状态聚类，提升训练稳定性。
AXPO：通过思考-行动间隙探索优化多模态 Agent 推理
🧭 Agent 探索策略优化 · 工具使用 RL ★ 深度解读
NVIDIA · KAIST
针对多模态 Agent 中工具调用利用不足与失败率高的问题，提出工具调用重采样以提升强化学习训练信号
📌 工作参考价值（4 点）
- 工具调用探索优化：当业务中 Agent 面临工具使用频率低、调用时全体失败的情况，可借鉴 tool-call resampling：固定思考前缀，在工具调用位置重采样，集中探索于动作本身，低成本恢复正样本，避免全量重采样的浪费。
- 不确定性驱动的重采样选择：对触发重采样的前缀按工具调用 token 的平均概率排序，只重采样最低置信度的前缀，节省额外预算。该 trick 可用于电商 Agent 中对外部工具（搜索、计算、图像分析）的 RL 训练，优先在最不确定的调用点加固信号。
- 分区分组优势计算：将重采样产生的 continuation 构成独立优势组，并用二进制恢复奖励更新源前缀，避免同一前缀在成功和失败轨迹中的梯度冲突。在推荐场景中，若 Agent 通过工具获取实时特征，可用类似方式解耦“意图”与“动作执行”的优化。
- 计算预算分配：仅用 +25% 的重采样预算，便超越直接加倍 rollout 的 GRPO，表明算力应投向最易失效的决策点。对于成本敏感的业务系统，可优先在工具调用处做局部探索而非全局扩增采样。
Hölder策略优化：动态调度token聚合的RL训练框架
🧭 LLM强化学习训练 · token聚合优化 ★ 深度解读
University College London · Shanghai Jiao Tong University · The Hong Kong University of Science and Technology (Guangzhou)
通过Hölder均值参数p动态调度，在GRPO中平衡梯度浓度与方差，实现数学推理和智能体任务的SOTA性能
📌 工作参考价值（4 点）
- 动态调度聚合参数p的思路可直接迁移到电商推荐的长序列决策中：早期用较大p放大稀疏但关键的交互信号（如购买、加购），后期降低p控制梯度方差，提升策略收敛稳定性。
- Hölder均值提供统一的token/动作聚合算子，只需调整一个连续参数即可在“放大关键信号”与“抑制噪声”之间平滑切换，适合推荐系统中不同阶段（探索期vs.稳定期）的需求。
- 智能体交互任务（如对话式购物助手）中，可借鉴本文的p-annealing策略：保守的线性衰减（如1→-1）可避免过拟合早期噪声，显著提高长程任务成功率。
- 实现简单，完全在log-space计算，仅需替换GRPO中的聚合步骤为带参数p的Hölder均值，无需额外模型或数据，便于快速实验。